Félix-Sébastien a vécu toute sa vie dans son château de Saint-Martin à de Cassagnes-Bégonhès dans l'Aveyron où il mourra – probablement de mot naturelle – pendant la révolution à 56 ans.

Il épouse, à La Salvetat (diocèse de Saint-Pons), le 6 mars 1766 Marie-Élisabeth de Cabrol de Grualgues, de la famille des Cabrol

Par ces connexions Cabrol, ses fils François et Justin seront accueillis à Saint-Pons-de-Thomières, ce qui leur permettra à l’un et à l’autre d’en devenir préfet. Justin y sera aussi accueilli pour passer l’été au frais à La Salvetat dans la propriété du Causse.